Meditron mit Llama 3: Meta stellt Sprachmodell für Gesundheitswesen vor
Meta stellt ein auf Llama-3 basierendes und mit Medizindaten trainiertes Sprachmodell vor, das besser sein soll als bisherige frei verfügbare Modelle.
(Bild: greenbutterfly/Shutterstock.com)
Meta stellt Meditron vor, eine auf den medizinischen Bereich zugeschnittene Suite mit großen multimodalen Sprachmodellen. Es soll beispielsweise auch Fragen zu CT-Bildern beantworten können. Anlässlich der Veröffentlichung von Llama-3 hat Meta eine entsprechende Version mit 8 Milliarden Parametern trainiert (Llama-3[8B]-MeditronV1.0). Mögliche Anwendungsfälle sind unter anderem die Beantwortung von Fragen in medizinischen Prüfungen, die Unterstützung bei der Differenzialdiagnose, Abfragen von Informationen zu Krankheiten – Symptome, Ursachen, Behandlung – sowie die Beantwortung allgemeiner Gesundheitsfragen.
Verschiedene Sprachmodelle, auch die von Google, sind darauf ausgelegt, bei der klinischen Entscheidungsfindung und der Diagnose von Krankheiten zu helfen. Dabei soll Meditron in den für medizinische Sprachmodelle üblichen Benchmarks fast so gut wie Googles kommerzielles Med-Palm 2 performen. Für das Training wurden, wie bei anderen medizinischen Sprachmodellen auch, Abstracts von PubMed verwendet.
Entwickelt wurden Llama-3[8B]-MeditronV1.0 und weitere Modelle von Meta und Forschern der Eidgenössischen Polytechnischen Hochschule in Lausanne (EPFL) sowie der Yale School of Medicine. Die Wissenschaftler haben zudem mit Organisationen wie dem Internationalen Komitee vom Roten Kreuz (IKRK) gearbeitet. Die Forscher haben auch ein Preprint mit weiteren Details (PDF) zum Vorgehen und der Evaluation veröffentlicht.
(Bild: Meta)
Apache-2.0-Lizenz
Meditron steht unter Apache-2.0-Lizenz auf Github zur Verfügung und wurde laut Meta allein in den ersten Monaten 30.000 Mal heruntergeladen. Die Meditron-Modelle können direkt vom Hugging Face Model Hub geladen werden. Dazu stellen die Entwickler ein Code-Beispiel bereit. Die Entwickler raten allerdings davon ab, die Modelle in produktiven Umgebungen zu nutzen.
Die Meditron-Suite hat laut Meta das Potenzial, wichtige Anforderungen in einer Vielzahl von Umgebungen zu erfüllen, einschließlich Notfallszenarien, die eine schnelle und genaue medizinische Reaktion erfordern. Außerdem soll sie das Gesundheitspersonal bei der Diagnose und Behandlung von Patienten in unterversorgten Gebieten unterstützen.
Yale-Professorin Mary-Anne Hartley, eine der Projektleiterinnen, hofft, dass die vollständige Veröffentlichung in ressourcenbeschränkten Umgebungen Innovationen ermöglicht. Dies soll eine bessere Repräsentation sicherstellen und gerechten Zugang zu medizinischem Wissen schaffen. Ebenso sollen auch die Trainingsdaten veröffentlicht werden. Daten stammen aus dem GAP-Replay-Korpus, der beispielsweise klinische Richtlinien aus Krankenhäusern und internationalen Organisationen enthält, aber auch verschiedenen medizinischen Studien. Für das Pretraining wurden Daten aus dem RedPajama-v1-Datensatz genutzt.
(mack)